We present Muse, a text-to-image Transformer model that achieves state-of-the-art image generation performance while being significantly more efficient than diffusion or autoregressive models. Muse is trained on a masked modeling task in discrete token space: given the text embedding extracted from a pre-trained large language model (LLM), Muse is trained to predict randomly masked image tokens. Compared to pixel-space diffusion models, such as Imagen and DALL-E 2, Muse is significantly more efficient due to the use of discrete tokens and requiring fewer sampling iterations; compared to autoregressive models, such as Parti, Muse is more efficient due to the use of parallel decoding. The use of a pre-trained LLM enables fine-grained language understanding, translating to high-fidelity image generation and the understanding of visual concepts such as objects, their spatial relationships, pose, cardinality etc. Our 900M parameter model achieves a new SOTA on CC3M, with an FID score of 6.06. The Muse 3B parameter model achieves an FID of 7.88 on zero-shot COCO evaluation, along with a CLIP score of 0.32. Muse also directly enables a number of image editing applications without the need to fine-tune or invert the model: inpainting, outpainting, and mask-free editing. More results are available at https://muse-model.github.io

We introduce the MAsked Generative VIdeo Transformer, MAGVIT, to tackle various video synthesis tasks with a single model. We introduce a 3D tokenizer to quantize a video into spatial-temporal visual tokens and propose an embedding method for masked video token modeling to facilitate multi-task learning. We conduct extensive experiments to demonstrate the quality, efficiency, and flexibility of MAGVIT. Our experiments show that (i) MAGVIT performs favorably against state-of-the-art approaches and establishes the best-published FVD on three video generation benchmarks, including the challenging Kinetics-600. (ii) MAGVIT outperforms existing methods in inference time by two orders of magnitude against diffusion models and by 60x against autoregressive models. (iii) A single MAGVIT model supports ten diverse generation tasks and generalizes across videos from different visual domains. The source code and trained models will be released to the public at https://magvit.cs.cmu.edu.

广义零射击学习（GZSL）仍然是深度学习的技术挑战，因为它必须在没有目标类别的数据中识别源和目标类别。为了仅使用来自源类数据的数据训练，源和目标类之间的语义关系，我们解决了从信息理论观点的广告传输和语义关系的量化。为此，我们遵循原型模型，并将关注的变量格式化为概率向量。利用所提出的概率矢量表示，可以通过简单的封闭形式有效地评估诸如相互信息和熵的信息测量。我们讨论使用原型模型时常见的嵌入空间和距离功能的选择。然后我们提出了三个信息 - 理论丢失函数，用于确定性GZSL模型：桥接数据和目标类别的相互信息丢失;不确定性感知熵约束丢失，以防止使用后的数据学习嵌入目标类别时;在将语义表示映射到公共空间时，语义保留交叉熵损失以保留语义关系。仿真结果表明，作为确定性模型，我们所提出的方法获得了GZSL基准数据集的最新状态。我们通过基线模型 - 深度校准网络（DCN）实现了21％-64％的改进，并且首次证明了确定性模型可以执行和生成的模型。此外，我们提出的模型与生成模型兼容。仿真研究表明，通过与F-CLSWAN结合，与先进的生成模型相比，我们获得了可比的结果。

ImageNet pre-training has enabled state-of-the-art results on many tasks. In spite of its recognized contribution to generalization, we observed in this study that ImageNet pre-training also transfers adversarial non-robustness from pre-trained model into fine-tuned model in the downstream classification tasks. We first conducted experiments on various datasets and network backbones to uncover the adversarial non-robustness in fine-tuned model. Further analysis was conducted on examining the learned knowledge of fine-tuned model and standard model, and revealed that the reason leading to the non-robustness is the non-robust features transferred from ImageNet pre-trained model. Finally, we analyzed the preference for feature learning of the pre-trained model, explored the factors influencing robustness, and introduced a simple robust ImageNet pre-training solution. Our code is available at \url{https://github.com/jiamingzhang94/ImageNet-Pretraining-transfers-non-robustness}.

In this paper, we propose a novel architecture, the Enhanced Interactive Transformer (EIT), to address the issue of head degradation in self-attention mechanisms. Our approach replaces the traditional multi-head self-attention mechanism with the Enhanced Multi-Head Attention (EMHA) mechanism, which relaxes the one-to-one mapping constraint among queries and keys, allowing each query to attend to multiple keys. Furthermore, we introduce two interaction models, Inner-Subspace Interaction and Cross-Subspace Interaction, to fully utilize the many-to-many mapping capabilities of EMHA. Extensive experiments on a wide range of tasks (e.g. machine translation, abstractive summarization, grammar correction, language modelling and brain disease automatic diagnosis) show its superiority with a very modest increase in model size.

由于其交易实体的伪匿名性质，比特币比任何其他金融资产都更频繁地进行非法活动。理想的检测模型有望实现（i）早期检测，（ii）良好的解释性和（iii）多功能性的所有三个特性。但是，现有的解决方案无法满足所有这些要求，因为它们中的大多数都在不满意的情况下严重依赖深度学习，并且仅用于对特定非法类型的回顾性分析。首先，我们提出资产转移路径，旨在描述解决早期特征。接下来，采用基于决策树的特征选择和分割策略，我们将整个观察期分为不同的段，并将每个段作为段向量进行编码。聚集了所有这些段向量后，我们获得了全局状态向量，本质上是描述整体意图的基本单元。最后，一个层次自我注意力预测指标可以实时预测给定地址的标签。生存模块告诉预测因子何时停止并提出状态序列，即意图。 ％依赖类型的选择策略和全球状态向量，我们的模型可用于检测具有强大解释性的各种非法活动。精心设计的预测指标和特定的损失功能可以进一步增强模型的预测速度和解释性。在三个现实世界数据集上进行的广泛实验表明，我们提出的算法优于最先进的方法。此外，其他案例研究证明我们的模型不仅可以解释现有的非法模式，还可以找到新的可疑字符。

非自动进取的生成变压器最近表现出令人印象深刻的图像产生性能，并且比自动回归对应物更快。但是，从视觉令牌的真实关节分布中进行的最佳并行采样仍然是一个开放的挑战。在本文中，我们介绍了代币批评，这是一种辅助模型，用于指导非自动性生成变压器的采样。鉴于掩盖和重建的真实图像，对代币批判性模型进行了训练，以区分哪种视觉令牌属于原始图像，哪些是由生成变压器采样的。在非自动回归迭代采样过程中，令牌批评者用于选择要接受的代币以及拒绝和重新取样的代币。再加上最先进的生成变压器令牌 - 批判性可显着提高其性能，并且在挑战性的课堂条件化成像生成中，就产生的图像质量和多样性之间的权衡取舍了最近的扩散模型和gan 。

创建视觉布局是图形设计的重要步骤。当我们寻求比例和多样化的视觉设计时，这种布局的自动生成很重要。在自动布局的作品上，专注于无条件生成，其中模型在忽略用户需要进行特定问题的同时生成布局。为了提前有条件布局，我们介绍了BLT，双向布局变压器。 BLT与自回归解码不同，因为它首先生成满足用户输入的布局，然后迭代地改进布局。我们验证了具有各种保真度量的多个基准测试模型。我们的结果表明，最先进的布局变压器模型的两个主要进步。首先，我们的模型授权布局变压器来满足可控布局的制作。其次，我们的模型削减了自回归解码的线性推理时间达到恒定的复杂度，从而在推理时间以制定布局实现4x-10x的加速。

积极的数据增强是视觉变压器（VIT）的强大泛化能力的关键组成部分。一种这样的数据增强技术是对抗性培训;然而，许多先前的作品表明，这通常会导致清洁的准确性差。在这项工作中，我们展示了金字塔对抗训练，这是一种简单有效的技术来提高韦维尔的整体性能。我们将其与“匹配”辍学和随机深度正则化配对，这采用了干净和对抗样品的相同辍学和随机深度配置。类似于Advprop的CNNS的改进（不直接适用于VIT），我们的金字塔对抗性训练会破坏分销准确性和vit和相关架构的分配鲁棒性之间的权衡。当Imagenet-1K数据训练时，它导致ImageNet清洁准确性的182美元的vit-B模型的精确度，同时由7美元的稳健性指标同时提高性能，从$ 1.76 \％$至11.45 \％$。我们为Imagenet-C（41.4 MCE），Imagenet-R（$ 53.92 \％$），以及Imagenet-Sketch（41.04美元\％$）的新的最先进，只使用vit-b / 16骨干和我们的金字塔对抗训练。我们的代码将在接受时公开提供。

我们使用条件扩散模型介绍调色板，这是一种简单而一般的框架，可用于图像到图像到图像转换。在四个具有挑战性的图像到图像转换任务（着色，染色，un折叠和JPEG减压），调色板优于强大的GaN和回归基线，并建立了新的最新状态。这是在没有特定于任务特定的超参数调整，架构定制或任何辅助损耗的情况下实现的，展示了理想的一般性和灵活性。我们揭示了使用$ l_2 $与vs. $ l_1 $损失在样本多样性上的越来越多的影响，并通过经验架构研究表明自我关注的重要性。重要的是，我们倡导基于想象项目的统一评估协议，并报告包括预先训练的Reset-50的FID，成立得分，分类准确度的多个样本质量评分，以及针对各种基线的参考图像的感知距离。我们预计这一标准化评估协议在推进图像到图像翻译研究方面发挥着关键作用。最后，我们表明，在3个任务（着色，染色，JPEG减压）上培训的单个通用调色板模型也表现或优于特定于任务专家的专家对应物。